设新马氏链为 $\wt X = \Bqty{\wt X_n, n \ge 0}$, 其状态空间为 $\wt S = S \cup \Bqty{\delta}$, 一步转移概率矩阵为 $\wt{\bm P}(k) = (\wt p_{ij}(k))_{i, j \in \wt S}$, 指标函数为 $\wt r_k\colon \wt S \to \R^+$, 其中

于是

从而有

易证其为唯一非负最小解, 从而

证毕.